Cloudflare、AIクローラー制御を全顧客に開放──「検索」「エージェント」「学習」の3分類で管理可能に

　米Cloudflareは7月1日（現地時間）、Webサイト運営者がAI関連のクローラートラフィックをより細かく制御できる新機能を発表した。従来の「AIボットを一括ブロック」という単純な選択肢に代わり、無料プランを含む全顧客が「検索」「エージェント」「学習」という3つの用途別にクローラーを管理できるようになる。

　9月15日には新規ドメインを対象に、広告収益化されたページで「学習」および「エージェント」用途のクローラーをデフォルトでブロックし、「検索」用途は許可する新しいデフォルト設定を導入する予定だ。

　同社は今回の変更を、AIの定義自体が急速に変化する中で「AIかどうか」ではなく「Webサイト上で何をしているか」という挙動ベースの分類に移行するものと説明している。GooglebotやApplebotのように検索と学習など複数の用途を兼ねるクローラーは、いずれかの用途がブロック対象であれば全体がブロックされる仕組みとなる。あわせて、エンタープライズ顧客向けに全クローラーを検索できる新データベース「BotBase」も提供開始した。robots.txtの拡張仕様「Content Signals」には、コンテンツの再利用範囲を指定できる新項目も追加される。

　Cloudflareは同日、AI検索の効率化と収益化に向けた2つの取り組みも発表した。1つは、更新のないWebページへの再クロールを減らすための研究プログラム。同社によると、良質なボットによるクロール量の半数以上が変更のないWebページへの再取得に費やされているといい、更新の有無を示すシグナルを活用してAI検索エンジン側の負荷とサイト運営者のサーバ負担を軽減する狙いがある。もう1つは、従来のクロール回数に応じた課金モデル「Pay Per Crawl」を、コンテンツが実際にAIの回答に使われた回数に応じて課金する「Pay Per Use」へ発展させる取り組みで、米Ceramic.aiや米You.comと実証実験を進めるとしている。

　同社は昨年7月、AI企業がWebサイトのコンテンツを無断で学習に利用する動きに対抗し、クローラーを一括ブロックできる機能や「Pay Per Crawl」マーケットプレイスを発表し、「Content Independence Day」（コンテンツの独立記念日）を宣言している。

印刷する

SNSでシェア

関連記事

• 

  AI事業者が争う姿勢　朝日、日経の記事無断使用巡り

• 

  「Rolling Stone」発行元のPMC、Googleを提訴　「AIによる概要」でトラフィックが激減と主張

• 

  Perplexityはブロックされたサイトを「ステルスクローリング」している──Cloudflareが告発

• 

  Cloudflare、AI時代のクリエイター支援策を発表 「コンテンツ独立記念日」宣言

こんなメディアも見られています

ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

企業ITのトレンドを詳説

ITmedia エンタープライズ

企業ITのトレンドを詳説

エネルギーの専門メディア

建設×テクノロジーの最前線

BUILT

ビジネスと働き方のヒント

ITmedia ビジネスオンライン